Cảm thấy mình không cần thiết trong chính phủ của Napoléon, La Fayette rời bỏ chính trường. Năm 1804, Napoléon xưng hoàng đế sau một cuộc trưng cầu dân ý mà La Fayette không tham gia bỏ phiếu. Ông sống lặng lẽ, nhưng vẫn phát biểu trước công chúng trong những lễ kỷ niệm ngày phá ngục Bastille[82]. Sau thương vụ Louisiana, Thomas Jefferson ngỏ ý mời La Fayette làm thống đốc ở Mỹ, nhưng ông từ chối với những lý do cá nhân và mong muốn hoạt động vì quyền tự do ở Pháp[83]. Trong một chuyến đi tới Auvergne, Adrienne bị ốm. Bệnh scorbut mắc phải thời gian trong tù làm sức khỏe bà càng tồi tệ hơn. Năm 1807, Adrienne bắt đầu hôn mê nhưng vào đêm trước Giáng Sinh, khi gia đình đến quanh giường bệnh, bà đủ tỉnh táo để nói với La Fayette: "Tất cả em thuộc về anh" (Je suis toute à vous)[84]. Adrienne mất vào ngày hôm sau, mang triệu chứng nhiễm độc chì[85].

Nhận lời mời của Tổng thống James Monroe nhân dịp quốc khánh lần thứ 50, La Fayette tới thăm Hoa Kỳ từ tháng 8 năm 1824 tới tháng 9 năm 1825[20]. Ông đã thực hiện một hành trình 6.000 dặm (9.656 km), thăm tất cả các tiểu bang[86][87]. La Fayette đặt chân đầu tiên tới Staten Island, New York ngày 15 tháng 8 năm 1824, được chào mừng bằng một buổi lễ có bắn đại bác[88]. La Fayette cũng tới thăm Fayetteville, Bắc Carolina, thành phố Hoa Kỳ đầu tiên mang tên ông[89]. Ngày 17 tháng 10 năm 1824, La Fayette tới Mount Vernon thăm mộ Washington và còn trở lại đây một lần nữa vào cuối tháng 8 năm 1825 trước khi về Pháp[90]. Một đơn vị quân sự đã quyết định lấy tên "Vệ binh quốc gia", theo lực lượng mà La Fayette từng lãnh đạo trong thời kỳ Cách mạng Pháp. Tháng 9 năm 1825, ông trở về trên con tàu USS Brandywine[89].